Déployer un traitement

Ce processus décrit les étapes de déploiement d'un traitement dans l'environnement PROD ou EID pour Datapipeline ou Dataiku (si l'option est disponible).

Pré-requis

• Les espaces de stockage correspondant à l'environnement cible nécessaires au traitement sont créés par l'Administrateur Données : Mettre en service un EdS
• Si une source externe doit alimenter l'EdS source du traitement, l'Administrateur Données doit la déclarer au préalable : Utilisation de Data Ingestion. L'Administrateur Données peut stopper et démarrer la source selon les besoins métier.
• Si de nouvelles fonctions (Brique ou UDF) sont nécessaires, elles auront été importées par l'Administrateur Applications pour leur partie exécutable (via SAp : l'UDF est packagée comme une application) et par l'Administrateur Traitements pour leur partie brique.

remarque

Si le traitement et ses UDF ont été mis au point dans un KDL, ils peuvent être packagés dans une même archive, selon les directives du guide de développement. L'import SAp de cette archive ira déposer les différents éléments dans leurs dépots respectifs, les fichiers yml étant fournis dans un projet gitlab où l'Administrateur Traitements pourra les retrouver.

Lorsque les éléments du traitement ont été validés dans l'EID, le traitement peut être déployé en production.

Etape de déploiement d'un traitement Datapipeline

• L'Administrateur applications importe l'image des briques custom via la procédure Import d'une application si besoin
• L'Administrateur traitement créé la brique dans le catalogue via la procédure Import d'une nouvelle brique
• L'Administrateur traitement importe le traitement via la procédure Import d'un traitement
• L'Administrateur traitement adapte le traitement à la cible :
  • Modification des EdS
  • Modification des paramètres
  • Lancement du traitement

Déploiement dans l'EID

L'Administrateur Traitements peut déployer en EID un traitement qui a été développé dans le bac à sable ou dans un KDL :

• soit il exporte le json du traitement puis l'importe en choisissant l'environnement EID
• soit il modifie l'environnement du traitement pour choisir EID (dans ce cas le traitement n'existe plus dans le BAS)

Il ouvre le traitement dans l'éditeur du datapipeline pour ajuster les EdS et le paramétrage, puis déployer (lancer) le traitement.

Déploiement en PROD

L'Administrateur Traitements peut déployer en production un traitement qui a été validé dans l'EID :

• soit il exporte le json du traitement EID puis l'importe en choisissant l'environnement production
• soit il modifie l'environnement du traitement pour choisir production (dans ce cas le traitement n'existe plus dans l'EID)

Il ouvre le traitement dans l'éditeur du datapipeline pour ajuster les EdS et le paramétrage, puis déployer (lancer) le traitement.

Etape de déploiement d'un traitement Dataiku

Le déploiement d'un traitement développé sur une instance BaS se fait avec la fonction import/export native de l'application.

Documentation éditeur disponible : https://doc.dataiku.com/dss/latest/concepts/projects/duplicate.html#export-import-project-options

Supervision

Un rapport de traitement est consultable dans Grafana pour un utilisateur ayant les droits.